視覚障害者の助けとなるか。薬袋や薬品パッケージをImage inputs for ChatGPT(GPT-4V)を使って確認してみた
最初に
この記事では、OpenAIのImage inputs for ChatGPT(GPT-4V)を使って薬品の情報を解析させた結果について記載していますが、正確性には課題があるため、この結果を用いて実際の服薬管理には利用しないでください。
Image inputs for ChatGPT - FAQには以下のような記載があります。
If you're using ChatGPT's new image input feature, it's important to be aware of these limitations:
Medical: The model is not suitable for interpreting specialized medical images like CT scans and shouldn't be used for medical advice.
Non-English: The model does not perform as well handling images with text of non-Latin alphabets, such as Japanese or Korean.
(中略)
Accuracy: The model may generate incorrect descriptions or captions in certain scenarios.
そのため、この記事は、ChatGPTが苦手とする使い方ですので、そのことを念頭において読んでいただけると幸いです。
背景
一般消費者向けに薬局で処方される薬品は、「調剤薬局」「保険薬局」「処方せん受付」で、薬剤師の方から口頭で説明されることはあるものの、その服薬の方法が薬袋や、市販薬のパッケージなどを視覚的に確認し、情報を得ることもあります。
この「視覚的に確認」する場合に、視覚障害者の方が困難を感じてこられました。
先日登場した、Image inputs for ChatGPT(GPT-4V)は、この現状に対して、どの程度の助けになるのか、公開されている文書を使って検証してみました。
1. 薬袋(やくたい)
まずは、「調剤薬局」等で配布される薬袋を試してみました。
株式会社エムシーエス様のサイトに公開されている、簡易薬袋発行システムの薬袋のサンプル画像を使ってみました。
2つの薬袋のサンプルがあります。
1つ目の薬袋は、目視で確認すると、服薬について以下のように書かれています。
- 1日3回、14日分
- 朝・夕食後と就寝前に服用
- 指導文1: 湿気を避け、
- 指導文2: 涼しい場所で保存してください。
- アイトロール錠20mg 1回1錠
- ウラリット錠 1回1錠
- イミグラン錠50 1回1錠
- ツムラ葛根湯エキス顆粒 1回2.5g
- イトリゾールカプセル 1回2Cup
この画像をImage inputs for ChatGPTを使って質問してみました。
プロンプト:
その薬袋を見て、私が1日に服用する必要がある薬を、タイミングごとに教えてください
ChatGPT:
薬袋の情報に基づくと、1日に服用する必要がある薬とそのタイミングは以下の通りです：
1日3回 服用する薬：
カンジダール - 1回1錠 イソプレチン錠5.0 - 1回1錠
1日1回 服用する薬：
フィナステリド2.0 mg - 1回1錠
1日2.5回（おそらく1日に2錠と3錠を交互に飲むか、指示に従って調整）服用する薬：
サルコジール錠カルシウム5.0 - 1回2.5錠
1日3回の薬は、例えば朝・昼・夜といった具体的なタイミングで均等に分けて服用することが考えられます。1日1回の薬は、医師や薬剤師の指示に従ったタイミングで1回服用します。サルコジール錠カルシウム5.0の1日2.5錠の正確な服用方法については、添付された説明書や医師からの指示を参照することをおすすめします。
結果を見ると、まず薬剤の文字が正しく認識されていません。また、服薬タイミングの正解は「朝・夕食後と就寝前(という1日3回)に服用」ですが、1日3回のものと、1日1回のものを区別した回答になっています。服薬のタイミングと、1回あたりの服薬量を混同しているように見えます。
まず、この時点で、そのそもの薬袋に記載された服薬指示の難解さに気がつくこともさることながら、FAQに記載の通り、日本語の解析には改善の余地がありそうです。
2つ目の薬袋サンプルも続けて見てみます。目視で確認すると、こちらの薬袋には、服薬について以下のように書かれています。
- 1日3回 14日分
- 1回 錠剤1個、散薬 1包 お飲みください
- 朝・夕食後と就寝前に服用
こちらの薬袋の薬は、先ほどと同じく「朝・夕食後と就寝前(という1日3回)に服用」が正解になります。今回は、少し意地悪な質問をしてみました。
プロンプト:
こちらの薬袋から、私が昼食後に服用する薬を教えてください
ChatGPT:
この薬袋に記載されている情報に基づくと、昼食後に服用する必要がある薬は以下の通りです：
胃腸薬 - 1錠
昼食後にこの薬を1錠服用してください。他の服用タイミングや量については、添付された説明書や医師の指示に従ってください。
前述の通り、この薬は昼食後には服用してはいけないはずですが、昼食後には胃腸薬を1錠との回答がありました。目視の結果では、この薬袋に胃腸薬は含まれていません。
別のサンプルでも試してみましょう。三菱電機ITソリューションズ株式会社のWebページからサンプルを探してみます。投薬監査システム 薬袋ピッピ！のページにある、薬袋のサンプルをみてみます。
目視で確認すると、服薬については以下のように記載されています。
- 1日2回 朝夕食後
- 7日分
- 1回 各1個(錠) 4種類
同じく質問をしてみました。
プロンプト:
こちらの薬袋から、私が昼食後に服用する薬を教えてください
ChatGPT:
この薬袋に記載されている情報に基づくと、昼食後に服用する必要がある薬は以下の通りです：
1回1錠（夕） - 4回分 ただし、具体的な薬の名称や詳細はこの画像からは読み取れません。昼食後にこの薬を1錠服用してください。他の服用タイミングや量については、添付された説明書や医師の指示に従ってください。
「具体的な薬の名称や詳細はこの画像からは読み取れない」という点は正解です。しかし、「1日2回 朝夕食後」とあるものの、昼食後に服薬する薬を回答してしまいました。
2. お薬手帳ラベル
他方で、お薬手帳に貼り付けるためのラベルがあります。そちらはどうでしょうか。株式会社エムシーエス様のサイトに戻ってラベルを確認してみます。
拡大されたラベルのサンプルがあります。同じく、服薬に関する情報を目視で確認します。
- 1日3回 毎食後服用
- 1回服用量 各 1個(錠) 2種類、1カプセル 1種類、1包 1種類
やはり難解ですね。ChatGPTに聞いてみます。
プロンプト:
こちらのラベルから、私が昼食後に服用する薬を教えてください
ChatGPT:
この薬袋に記載されている情報に基づくと、昼食後に服用する必要がある薬は以下の通りです：
昼食後 - カプセル 2錠
昼食後にこのカプセルを2錠服用してください。他の服用タイミングや量については、添付された説明書や医師の指示に従ってください。
今回は「1日3回 毎食後服用」ですので、昼食後に服用するという回答は正解です。ただし、1回の量については、かなり少なく解釈しています。
4. 市販薬パッケージ
他方で、市販薬のパッケージはどうでしょうか。各社、様々な様式で出されていると考えられ、それぞれによって解析精度が異なると考えられます。
ここでは一例として、第一三共ヘルスケア様の新ルルAゴールドDXαに掲載の添付文書をダウンロードしてみました。
「用法・用量」欄を確認すると、目視では以下のように記載されています(記事執筆時点の情報であり、今後の添付文書の改訂に伴って修正する予定はございません。服用に際しては、Webサイトより最新の添付文書をご確認ください)
次の量を水又はお湯で服用して下さい。 成人(15歳以上) 1回量 3錠 11歳以上15歳未満 1回量 2錠 7歳以上11歳未満 1回量 1錠 7歳未満 服用しないでください。 (全年齢共通) 1日服用回数 3回 食後なるべく30分以内に服用して下さい。
同じく質問をしてみました。
プロンプト:
この図の説明から、成人は、この薬をどのタイミングで摂取するべきか教えてください
ChatGPT:
成人（15歳以上）は、以下のようなタイミングでこの薬を摂取するべきです：
1回に3錠を摂取 1日最大摂取数は3回
それぞれの摂取の間には、最低でも約30分以上の間隔を空けてください。
1回あたりの摂取量、1日の摂取回数は「最大」を除いて正解でした。なお、図の中に「それぞれの摂取の間には、最低でも約30分以上の間隔を空けてください」の記載はありませんでした。
5. 英語との比較
ChatGPTのFAQに、「日本語や韓国語は苦手」と書かれているのに、日本語の画像を解析させ続けてしまったので、英語の文章にもトライしてみました。
一般社団法人くすりの適正使用協議会が提供するくすりのしおりから、Inlyta tablets 5mgを画像化して読み込ませてみます。
以下のような説明がありました。
Dosing schedule (How to take this medicine) Your dosing schedule prescribed by your doctor is (( to be written by a healthcare professional)) In general, for adults, take 1 tablet (5 mg of the active ingredient) at a time, twice a day. The dosage may be adjusted according to the condition. However, the daily dosage is up to 2 tablets (10 mg) at a time, twice a day. Strictly follow the instructions. If you miss a dose, take the missed dose by 3 hours before the next dose or skip the missed dose and follow your regular dosing schedule. You should never take two doses at one time. If you accidentally take more than your prescribed dose, consult with your doctor or pharmacist. Do not stop taking this medicine unless your doctor instructs you to do so.
同じく質問をしてみました。
プロンプト:
Please read this explanation and tell me in Japanese when I should take this medicine.
ChatGPT:
この薬の説明に基づくと、次のように服用することが推奨されています：
大人の場合、一度に活性成分5mg（5錠）を1日2回服用します。しかし、状態によっては、一度に最大10mg（10錠）までの服用が可能です。
指示に従って服用してください。もし服用を忘れた場合は、次の服用時刻まで3時間を残していれば、忘れた分を服用します。それ以下の場合は次の時刻まで待ちます。
常に医師の指示に従って正確な服用量やタイミングを確認してください。
正解の答えが返ってきました。ただ、これまでの薬袋などと異なり、そもそも記述が素直な英文になっており、画像認識ができれば、素直に情報を取り出せる構文になっていると言え、単純な英語、日本語の比較にはなっていません。
別のLLMモデルとの比較
同じく画像の入力を受け付けるLLaVA: Large Language and Vision Assistantに対して、先程と同じInlyta tablets 5mgを画像化して読み込ませてみました。
プロンプト:
Please read this explanation and tell me when I should take this medicine.
LLaVA:
The image is a drug information sheet for a medication called Kusuri-no-shiro. It contains instructions and guidelines for taking the medication. However, without knowing the specific medication name or dosage, it is not possible to provide a precise answer on when to take the medicine. It is important to follow the instructions provided on the information sheet and consult with a healthcare professional for any questions or concerns regarding the medication.
そもそもの回答を避けてきました。薬剤については、回答を避けるような仕組みが入っている可能性を考えました。また、こちらで日本語で回答させていないのは、日本語で回答させると、内容の要約のような文章が返ってきたためです。
まとめ
薬袋やお薬手帳ラベル、市販薬などについて、Image inputs for ChatGPTやLLaVaを使って用法・用量の解析精度を確認してみました。現時点では、日本語においては実用が難しいという結論ですが、近いところにはきており、今後のモデルの発展に期待できるのではと感じました。
